# 使用token分割器进行分割，
# 将块大小设为1，块重叠大小设为0，相当于将任意字符串分割成了单个Token组成的列
from langchain.text_splitter import TokenTextSplitter

if __name__ == '__main__':
    text_splitter = TokenTextSplitter(chunk_size=1, chunk_overlap=0)
    # 注:目前 LangChain 基于 Token 的分割器还不支持中文
    text = "foo bar bazzyfoo"
    texts = text_splitter.split_text(text)
    print(texts)